A chain is only as strong as its weakest link. ― Thomas Reid
今天的開頭是一句英文俗諺,它說的是再強也強不過最弱的一環,在機器學習的研究或產品中,我們常常會看到有人宣稱達到了多好的表現,但若只是與隨意建立且表現較差的 Baseline 相比,這樣的說詞其實是過於樂觀的。
下圖便描繪了這樣的概念,提醒我們 Baseline 的重要性,以及在建立 Baseline 時必須格外用心。
今天我們要來討論的是關於 Baseline 對機器學習產品專案的幫助,就讓我們開始吧!
首先用一個例子來說明 Baseline 在機器學習產品上的作用。
注意建立 Baseline 的方法會隨著資料型態不同而有很大的差異,以手機上的語音辨識 app 為例,可以使用人類表現水平 (Human Level Performance, HLP) 作為基準:
若單看 4 種情況的 Accuracy,第一直覺可能會想花最多時間來改善低頻寬 (裝置連線較差) 時的表現。
但加入人類表現水平 (HLP) 作為基準之後,可以發現在低頻寬時連人都很難辨識,因此花時間改善背景有車聲時的表現對產品來說會是更好的投資。
也就是說,建立 Baseline 能幫助我們以最有效率的方式提昇產品表現,所以它是執行機器學習專案最重要的第一步。
而建立基準主要有以下幾種方法:
Baseline 可以讓我們知道存在哪些可能性,在某些情況中也可以讓我們知道大概的 irreducible error/Bayes error (例如低頻寬的 HLP) 。
常常會遇到客戶強迫 ML 團隊達到 9X% 準確率,這時候要斷然要求等我們建立好 baseline 後再來談,必要時就推給 Andrew!
大致了解 Baseline 的重要性之後,讓我們來看看啟動機器學習專案的幾個小建議。
以上就是今天的內容,接著我們要進到下個步驟談談 Error analysis 啦,明天見囉。